Benchmarking the Benchmarks: Evaluating Benchmarks for Conversational Agents
对话Agent基准的基准测试：自动评估合成与人工基准的质量
🧭 对话Agent基准质量自动评估
IBM Research
提出使用LLM评委自动评估对话Agent基准的一致性、复杂性和策略覆盖，经验证能区分基准质量水平
📌 工作参考价值（4 点）
- 对话Agent评估集的自动质检：在构建电商客服、导购对话等场景的测试集时，可直接采用LLM评委对已有基准进行一致性、复杂性和策略覆盖率诊断，快速发现逻辑矛盾任务或过于简单的场景，避免线下指标误导线上决策。
- 生成式对话数据筛选与优化：当使用LLM自动生成多轮对话评估集（如模拟用户咨询、售后政策）时，可集成该框架作为质量过滤器，筛除不一致或覆盖不全的样本，提升合成数据的可用性。
- 对话系统策略覆盖检查：对于涉及多步骤业务策略（如优惠查询、退换货规则）的对话应用，可用其策略覆盖维度自动检验现有测试是否涵盖了所有关键策略分支，指导增补评估用例。
- LLM法官选择的成本与一致性权衡：论文验证了不同法官模型（如GPT-4、较小模型）的评估一致性，业务落地上可选择更便宜的模型作为近似评委，降低自动化评估的成本。